Большое практическое задание 2

Применение линейных моделей для определения токсичности комментария

курс "Машинное обучение 1", программа OzonMasters, 2021

Студент: Арешин Станислав Олегович

Теоретическая часть (1 балл)

Выведите формулу градиента функции потерь (по параметру $w$) для задачи бинарной логистической регрессии.

$$L(a(x), y) = \log(1 + \exp(-y\langle w, x\rangle)), \quad y \in \{-1, 1\}$$

Запишите вывод градиента ниже.

Решение

Запишем полную формулу с регуляризацией:

$$L(a(x), y) = \frac{1}{N}\log(1 + \exp(-y\langle w, x\rangle)) + l_2\|w\|_2^2 $$

Далее по шагам:

1) Вычислим $\frac{\partial{l_2\|w\|_2^2}}{\partial{w}}$

$$\frac{\partial{l_2\|w\|_2^2}}{\partial{w}} = l_2\frac{\partial{\|w\|_2^2}}{\partial{w}} = l_2\frac{\partial{\langle w, w\rangle}}{\partial{w}} = $$$$= l_2(\langle w, dw\rangle + \langle dw, w\rangle) = l_2\langle 2w, dw\rangle$$

Таким образом,

$$\frac{\partial{l_2\|w\|_2^2}}{\partial{w}} = 2l_2w $$

2) Вычислим $\frac{\partial{\log(1 + \exp(-y\langle w, x\rangle))}}{\partial{w}}$

$$\frac{\partial{\log(1 + \exp(-y\langle w, x\rangle))}}{\partial{w}} = \frac{\frac{\partial{(-y\langle w,x\rangle)}}{\partial{w}} \cdot \exp(-y\langle w, x\rangle)}{1 + \exp(-y\langle w, x\rangle)} $$ 
2.1
$$\frac{\partial{(-y\langle w,x\rangle)}}{\partial{w}} = -y(\langle dw, x\rangle + 0) = -yx$$

Таким образом,

$$\frac{\partial{\log(1 + \exp(-y\langle w, x\rangle))}}{\partial{w}} = -yx \frac{\exp(-y\langle w, x\rangle)}{1 + \exp(-y\langle w, x\rangle)} = -yx \sigma(-y\langle w, x\rangle)$$

3) Итого состыкуем 1) и 2), не забывая про $\frac{1}{N}$, получаем:

$$\frac{1}{N}(-yx \sigma(-y\langle w, x\rangle)) + 2l_2w$$

Реализация алгоритмов (9 баллов)

Прототипы функций должны строго соответствовать прототипам, описанным в спецификации и проходить все тесты. Задание, не проходящее все тесты, приравнивается к невыполненному.

При написании необходимо пользоваться стандартными средствами языка Python, библиотеками numpy, scipy и matplotlib. Библиотекой scikit-learn для реализаций пользоваться запрещается, но разрешается использовать её в процессе экспериментов. Все подробности реализации алгоритмов подробно описаны в спецификации к заданию.

Ожидается, что реализациия всех классов и функций будет максимально эффективной.

Предобработка данных (2 балла)

Импортируйте все, что вам потребуется для экспериментов:

1. Загрузка даннных

Эксперименты этого задания необходимо проводить на датасете, содержащим комментарии из раздела обсуждений английской Википедии, который был преобразован для решения задачи бинарной классификации: является ли данный комментарий токсичным или нет. Подробнее об исходных данных здесь. Требуемый для выполнения данного задания датасет можно найти по следующей ссылке.

Данные в датасете записаны в формате csv. Для базовой части экспериментов используйте в качестве целевой переменной столбец is_toxic. Обратите внимание на метки классов в датасете, замените их на те, которые ожидает увидеть на вход ваша реализация LinearModel.

2. Предобработка текста

Произведите предварительную обработку текста. Приведите все тексты к нижнему регистру. Замените в тексте все символы, не являющиеся буквами и цифрами, на пробелы. Примените алгоритм лемматизации (например, WordNetLemmatizer из библотеки nltk) к коллекции. Удалите из текста стоп-слова (например, используя список стоп-слов из nltk).

Замечание. Полезные функции: str.lower, str.split, str.isalnum, re.sub, re.split.

По примеру с семинара я реализовал класс предобработки текста. Потом можно модифицировать для других языков.

3. Train/val

Разделите данные на обучение и валидацию. Для валидации выберете $30\%$ случайных объектов из датасета. Рекомендуется использовать функцию sklearn.model_selection.train_test_split.

4. Tf-idf

Преобразуйте текст в разреженную матрицу scipy.sparse.csr_matrix, где значение $x$ в позиции $(i, j)$ сответствует tf-idf характеристке $j$-го слова в $i$-ом документе. Рекомендуется использовать конструктор sklearn.feature_extraction.text.TfidfVectorizer. Добавьте в данные единичный столбец на нулевой позиции.

Замечание 1. У TfidfVectorizer есть несколько методов для работы, используйте fit_transform и fit для обучающей выборки, используйте transform для тестовой.

Замечание 2. Используйте параметр min_df, чтобы уменьшить размерность данных и ускорить проведение экспериментов. Рекомендуется использовать min_df не меньше $5$.

Замечание 3. Для добавления единичного столбца, можно воспользоваться следующей инструкцией:

from scipy.sparse import hstack, csr_matrix
X = csr_matrix(hstack([csr_matrix(np.ones((X.shape[0], 1))), X]))

Ответьте на следующие вопросы

1. Поясните, почему мы хотим хранить данные в разреженных матрицах CSR формата? Почему для данной задачи этот формат подходит лучше DOK формата (словарь, где ключ это пара (строка, столбец), а значение это соответствующий строке и столбцу элемент матрицы)?

В результате TF-IDF преобразования получается разреженная матрица (в матрице много нулевых элементов). Для представления разреженных матриц удобен формат CSR (compressed row storage) matrix, который есть в scipy. Если например попробовать перевести полученную CSR матрицу в numpy массив, получим что-то типо "can not allocate ..GB memory", то есть памяти для хранения такой матрицы в обычной форме не хватит.

Преимуществом CSR формата над DOK является быстрое получение необходимой строки (по DOK вообще тяжело итерироваться). Насколько я понял из доков scipy, DOK формат тоже поддерживает матричное умножение (у scipy.sparse.dok_matrix есть метод dot), однако CSR формат делает матричное умножение гораздо быстрее, а в задании нужно будет часто умножать матрицы.

Эксперименты (13 баллов)

1. Исследование параметров градиентного спуска (3 балла)

В спецификации предлагается использовать следующую формулу для выбора темпа обучения $\eta_k$:

$$\eta_k = \frac{\alpha}{k^{\beta}}, \quad \text{где $\alpha$, $\beta$ - заданные константы}, \; \text{$k$ - номер итерации}$$

Исследуйте поведение градиентного спуска для задачи логистической регрессии в зависимости от следующих параметров:

Исследование поведения подразумевает анализ следующих зависимостей на обучающей и валидационной выборках:

В качестве метрики качества здесь и далее предлагается использовать сбалансированную точность (balanced accuracy), реализацию, совместимую с множеством меток $\{−1, 1\}$, можно найти в модуле utils.

Для исследования параметров градиентного спуска и стохастического градиентного спуска я реализовал несколько функций, чтобы лишний раз не дублировать большие куски одинакового кода.

Зависимость значения функции потерь от эпохи метода

Обучение
Валидация

Зависимость значения функции потерь от реального времени работы метода

Обучение
Валидация

Значение метрики качества после обучения метода

Ответьте на следующие вопросы

1. По результатам экспериментов, какие параметры step_alpha и step_beta вы считаете наиболее оптимальными? Если пар оптимальных параметров получилось несколько, какую пару вы выберете для дальнейших экпериментов и почему?

В целом алгоритмы очень плохо обучились. Возможно, если подобрать порог, результат будет лучше, но сбалансированная точность у всех комбинаций step_alpha и step_beta примерно одинаковая, поэтому по ней оценивать не будем.

Я на один порядок понизил параметр tolerance, чтобы алгоритмы быстрее завершали работу. В целом видно, что бОльшая часть комбинаций останавливается в районе 0.4 loss. Лучший loss как на трейне, так и на валидации показал алгоритм с параметрами (1,0), однако когда я искал информацию о том, как правильно подбирать learning rate, я нашёл, что во многих статьях говорится, что learning rate должен быть меньше 1. Так как step_beta в этом случае равен нулю, то в этом случае он ещё и константный, то есть не зависит от итерации, что тоже не очень хорошо, можно легко проскочить глобальный минимум.

Поэтому было решено лучшим параметром в данном эксперименте выбрать пару (1,0.1), мне кажется, это неплохой способ уменьшать lr по ходу итераций, не делая его слишком маленьким, но опять же, очень много параметров показали схожие результаты как по времени обучения, так и по лосу и тут трудно выбрать лучший, скорее это мои предпочтения.

2. Какие зависимости между параметрами step_alpha/step_beta и временем работы алгоритма/кол-ва эпох вы наблюдаете? Опишите свои наблюдения.

Заметно, что при увеличении step_beta алгоритмы сходятся очень рано и с все большим лосом, но при этом работают быстро (так как меньше эпох, впрочем это не важно, лосс то плохой). Это можно объяснить тем, что мы начинаем слишком сильно дробить шаг с каждой итерацией и, когда шаг становится слишком маленьким, алгоритм думает, что он попал в минимум и останавливается.

При увеличении step_alpha алгоритмы показывают результаты лучше, так как, даже их первый шаг показывает значительно ниже лосс с каждым увеличением. Вообще хорошо первый шаг делать довольно большим, это ускоряет сходимость алгоритма. Чем больше step_alpha, тем дольше работают алгоритмы, так как они проскакивают места, где остановились предыдущие варианты с следовательно совершают больше эпох. Самый долгий алгоритм был с константным step_alpha = 1, отработал за 17,5 секунд (другие редко работали дольше 4 секунд)

3. Поясните, в чём преимущество использования balanced accuracy для этой задачи по сравнению с обычной accuracy?

Это связано с балансом классов. Давайте приведем график баланса классов в данной задаче:

image.png

Видно, что классы ужасно сбалансированы и это логично, ведь поймать токсичный комментарий гораздо сложнее, чем хороший (не в русских соц сетях конечно). Представим, что мы используем обычную accuracy и мы алгоритм классификации. Давайте просто всё время называть самый частый класс. Вау! Мы получили 90% процентов accuracy, но на самом деле это конечно не так, мы просто сработали как Dummy classifier с стратегией most frequent. Дело в том, что метрика accuracy нерепрезентативна для задач с плохим балансом классов, поэтому чтобы использовать accuracy, нужно либо урезать датасет до баланса и терять кучу данных, либо пользоваться balanced accuracy, которая не страдает таким недостатком.

2. Исследование параметров стахастического градиентного спуска (3 балла)

Исследуйте поведение стохастического градиентного спуска для задачи логистической регрессии в зависимости от следующих параметров:

Для данного эксперимента я снизил количество итераций до 250, чтобы подсчет шел быстрее и потому что стохастический градиентный спуск должен быстрее сходиться. Будем перебирать batch_size 4096, 2048, 1024. Пользуемся теми же реализованными выше функциями.

Batch_size 4096

Зависимость значения функции потерь от эпохи метода
Обучение
Валидация
Зависимость значения функции потерь от реального времени работы метода
Обучение
Валидация
Значение метрики качества после обучения метода

Batch_size 2048

Зависимость значения функции потерь от эпохи метода
Обучение
Валидация
Зависимость значения функции потерь от реального времени работы метода
Обучение
Валидация
Значение метрики качества после обучения метода

Batch_size 1024

Зависимость значения функции потерь от эпохи метода
Обучение
Валидация
Зависимость значения функции потерь от реального времени работы метода
Обучение
Валидация
Значение метрики качества после обучения метода

Ответьте на следующие вопросы

1. По результатам экспериментов, какие параметры step_alpha, step_beta и batch_size вы считаете наиболее оптимальными? Если троек оптимальных параметров получилось несколько, какую пару вы выберете для дальнейших экпериментов и почему?

В этом эксперименте мы уже получаем неплохой скор даже при стандартном пороге. Лучшим по скору стал алгоритм с параметрами (1024, 1, 0), да, работал он конечно долго (25 сек), но это быстрее большей части алгоритмов как с дроблением шага, так и с константным шагов. Но опять же, как и в прошлом эксперименте, я думаю, что нехорошо брать константный шаг, так как можно проскочить глобальный минимум, поэтому лучшим буду считать алгоритм с параметрами (1024, 1, 0.1). Здесь есть все - большой первый шаг, не очень быстрое, но логичное уменьшение этого шага по ходу итераций, хороший скор (0.75) и оптимальное время работы алгоритма, так как бОльшая часть алгоритмов с другими параметрами работала гораздо дольше. Да, он сходится медленнее, чем при (1,0), но можно просто увеличить количество итераций, зато бы с бОльшей вероятностью придем к цели.

2. Какие зависимости между параметрами step_alpha алгортим /step_beta/batch_size и временем работы алгоритма/кол-ва эпох вы наблюдаете? Опишите свои наблюдения.

Первое, с чего стоит начать, при уменьшении размера батча алгоритм быстрее сходится и даёт лучше скор, поэтому и был выбран минимальный из рассматриваемых размеров батча. С уменьшением размера батча растёт время работы алгоритма, но лучшего выбранного это не касается, он работает наравне с алгоритмами, у которых размер батча больше.

Второе, это видна та же закономерность, что и в первом эксперименте: при сильном дроблении шага (step_beta) получаем большой лосс и ухудшается скор, алгоритм сходится дольше, если дробить ОЧЕНЬ сильно, то алгоритм рано завершает работу. К размеру батча это вроде бы не привязано, для всех картина примерно одинаковая.

Ну и при увеличении step_alpha алгоритм лучше сходится, не сильно при этом проигрываю по времени предыдущим step_alpha.

Для меня интересной картиной стало, что при среднем дроблении шага для всех размеров батча время работы алгоритма больше всего, при этом скор хуже, чем если дробить чуть-чуть или не дробить вовсе. Можно попробовать это объяснить тем, что алгоритм приходит в какой-то минимум, который другой алгоритм с меньшим дроблением проскакивает, и пытается там что-то найти. При этом алгоритм с большим дроблением вовсе не доходит до этого минимума.

Важно, что при стохастическом градиентом спуске получилась хорошая картина по скорам алгоритмов, так из выборки сразу можно отсеивать плохие.

3. Сравнение двух методов (2 балла)

Сравните поведение двух методов между собой, и ответьте на следующие вопросы

  1. Какой алгоритм вы выберете для дальнейших экспериментов и почему?

    Я выберу стохастический градиентный спуск с параметрами (1024, 1, 0.1).В целом стохастический градиентный спуск быстрее сходится и дает приемлемый срок в отличии от обычного. Увеличив кол-во итераций, настроив порог можно получить еще больший прирост. Конечно, он проигрывает по скорости (кстати выбранные параметры по скорости не сильно проигрывают прошлым лучшим), но лучше чуть-чуть подождать и получить хороший результат, чем получать точность классификации 50%.

  1. Есть ли разница между парами оптимальных параметров step_alpha и step_beta в двух алгоритмах? Объясните разницу/отсутствие разницы в результатах.

По тому, как я выбрал параметры в прошлом эксперименте, разницы нет. В первом эксперименте я мог выбрать и другие параметры, а тут они однозначно лучше. Можно объяснить тем, что мне это и правда самые оптимальные параметры спуска, а в первом задании у меня получилось это интуитивно понять (я выбирал не основываясь на второе задание). Также возможно сетка недостаточно хорошо построена, и если бы параметров было больше, то и результаты бы не совпали. И последнее, это может быть совпадением, исходя из структуры пространства решаемой задачи.

4. Регуляризация (2 балла)

Подберите по отложенной выборке коэффициент $l2$-регуляризации модели.

Приведите график с результатами ваших экспериментов. Обоснуйте свой выбор.

В этом эксперименте я уже решил настраивать порог для получения хороших результатов, увеличил кол-во итераций до 1000 для лучшего скора и вернул tolerance = 1e-5.

На графике видно, что при l2_coeff = 0 мы получили лучший скор на валидации (0.9046843935023683). При добавлении регуляризации и дальнейшем увеличении параметра, скор только падает вниз, даже без скачков. Поэтому логично выбрать для итога l2_coeff = 0.

5. Измерение качества и интерпретация результатов (3 балла)

Выберите лучший алгоритм для тестовой выборки. Обратите внимание, что необходимо использовать порог бинаризации, выбранный на отложенной выборке.

По итогу проведенных экспериментов, я буду лучшую модель с параметрами l2_coeff = 0, step_alpha = 1, step_beta = 0.1, batch_size = 1024, num_iter = 1000, tolerance = 1e-5. Оптимальный порог из валидации threshold = -2.211604612658369, но я посчитал его ещё раз (!!! на валидационной выборке), благо это не долго.

Для начала преобразуем тестовую выборку в TF-IDF матрицу:

Ответьте на следующие вопросы

  1. Примените лучший алгоритм к тестовой выборке и посмотрите на метрику качества. Сравните ее с метрикой на валидации. Опишите ваши наблюдения.

На тесте получен скор 0.8874530505603012, на валидации был 0.9. Значения довольно близкие, что говорит об отсутствии переобучения модели. В принципе результат неплохой. Его можно улучшить, добавляя нграммыы, снижая параметр mindf у TF-IDF преобразования, но так придётся заново подбирать оптимальные параметры, данных станет больше и вся работа будет гораздо дольше.

  1. Проанализируйте ошибки алгоритма. Проанализируйте и укажите общие черты объектов, на которых были допущены ошибки. Наблюдения опишите.

В первой ошибке алгоритм предсказал, что комментарий токсичный, хотя это не так. Этому есть объяснение, так как в тексте встречается слово horrible, что в переводе ужасный. Это слово часто встречается в плохих комментариях, поэтому алгоритм предсказал такую метку.

Во второй строке я ничего не заметил, зато в 3 есть слово profane, что означает нецензурную брань, ну хоть что-то, хотя дальше есть ещё текст. Предсказанная метка токсик, на самом деле нет.

В четвертой строке есть hell, что означает ад, нграммы не учитывались, но словосочетание burn hell как бы намекает на токсичность комментария, хотя его метка обратная.

Ну и так далее, видно, что алгоритм часто ошибается, считая нетоксичный комментарий токсичным и это связано с ключевыми словами, которые более характерны для токсичных комментариев, wtf(перевод понятен), kill (это конечно про черную мамбу, но звучит плохо), troll(тролить), снова horrible и так далее.

  1. Проинтерпретируйте линейные коэффициенты признаков. Выберите коэффициенты с набиольшим значением и коэффициенты с наименьшим значением. Проанализируйте, каким словам они соответствуют. Согласуются ли ваши наблюдения с вашими ожиданиями от модели?

Отсортируем веса и выделим индексы top10 - 10 самых плохих по мнению модели слов, bot10 - 10 самых хороших слов. Также преобразуем словарь tf-idf из слово-индекс, в индекс - слово, чтобы было удобнее проводить поиск.

Посмотрим на самые плохие по мнению модели слова. В основном это нецензурные либо оскорбительные слова (переводить не буду, вроде и так все понятно). В целом это правильное поведения модели по детекции токсичных комментариев, кроме затесавшегося с большим весом слова assign (вроде переводится назначать), откуда оно тут, не совсем понятно.

Если взглянуть на хорошие слова, в топ 5 видно явные положительные слова в виде благодарностей, но встречаются и слова, вклад которых в положительность комментария непонятен, например sectional и совсем непонятное слово maya. Далее уже идут слова типо wouldnt, stated, articled, redirected, которые, по моему мнению, вносят сомнительный вклад в положительность комментария. Откуда то взялось 00, похоже косячок предобработки..

Видно, что хорошо научилась определять токсичные комментарии, а с положительными комментариями дела чуть хуже. Это объясняет то, что модель часто считает положительный комментарий плохим из-за некоторых ключевых слов.

Давайте так посмотрим на 10 слов, веса которых близки к нулю, то есть почти не имеют вклада в ответ алгоритма.

Тут в целом картина понятная, нет слов, которые явно говорили бы о токсичности комментария или об обратном (разве что слово nicest кажется положительным). В целом модель неплохо определяет ключевые для решения задачи слова.